Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning
面向长程智能体强化学习的树感知后验蒸馏
🧭 Agentic RL · 树回溯信用与后验蒸馏 ★ 深度解读
Tsinghua University · Tencent
提出 TreeOPSD，用树回溯信用构建有限目标分布，以 Forward-KL 后验蒸馏替代固定策略梯度，无 critic 地稳定长程 Agent RL
📌 工作参考价值（4 点）
- 多轮 Agent 训练的 rollout 预算优化：initialize-then-expand 用 M 条完整轨迹 + 每个轨迹 N 个前缀分支，在同样 token/工具调用预算下（M=4, N=2 约等于 8 条全 rollout）构造 rollout tree，获得 turn-level 信用；电商导购、售后客服等长程 agent 可直接用这种采样方式，不用改 reward 标注。
- 用有限目标替代固定 advantage 权重，缓解 sequential mini-batch 漂移：把每轮信用映射成伯努利教师 q=1/2+V/τ，再用 Forward-KL 匹配当前 policy 的 sigmoid 后验 p=σ(avg log ratio)；梯度会自动在目标处消失、过冲后反向，可以避免多轮更新中的 policy staleness，适合在线更新频率高的推荐策略。
- 点式 credit 比 listwise centering 更适合多臂/多子节点场景：分支后的父节点下多个有用子节点都应上升，listwise 的 V_c - V_i 会让它们互相抵消；在推荐/搜索的候选生成、多工具调用分支中，可以考虑把树 backup 后的 pointwise credit 直接作为监督信号。
- 长序列 off-policy 更新的数值稳定 trick：用 per-token 平均 log-likelihood ratio 构造 p=sigmoid(s)，避免整条 turn 的 likelihood ratio 指数爆炸；这个做法可复用到长文本/多轮交互的 policy 优化或蒸馏中。